ชิบูซาวะเกิดเมื่อวันที่ 16 มีนาคม 1840 ในบ้านไร่ใน Chiaraijima (ตั้งอยู่ในเมืองฟูกายะในจังหวัดไซตามะในปัจจุบัน) ตอนเป็นเด็ก เขาเรียนการอ่านและการเขียนจากพ่อของเขา เขาเติบโตขึ้นมาโดยช่วยธุรกิจของครอบครัวในการทำไร่นาแบบแห้ง การผลิตและการขายคราม และการเลี้ยงไหม และต่อมาได้ศึกษาลัทธิขงจื๊อและประวัติศาสตร์ญี่ปุ่นภายใต้โอดากะ จุนชู (尾高 惇忠) นักวิชาการซึ่งเป็นลูกพี่ลูกน้องของเขา

ภายใต้อิทธิพลของ ซนโนโจอิ (ขับไล่คนป่าเถื่อน; เทิดทูนจักรพรรดิ) เขาได้วางแผนร่วมกับลูกพี่ลูกน้องและเพื่อน ๆ เพื่อยึดปราสาททากาซากิ (高崎城) และจุดไฟเผานิคมต่างชาติในโยโกฮามะ อย่างไรก็ตาม ในที่สุดแผนนี้ก็ถูกยกเลิกและเขาย้ายไปเกียวโต